Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation
面向生成式推荐的噪声鲁棒自适应损失平衡 GRPO
🧭 生成式推荐 · RL后训练 ★ 深度解读
JD.com · Waseda University · University of Electronic Science and Technology of China
通过样本级门控让 GRPO 只在策略不确定且奖励可靠时才更新，解决奖励模型噪声问题。
📌 工作参考价值（4 点）
- 在生成式商品推荐（如 Semantic ID 召回）的 RL 后训练中，不要均匀信任奖励模型：对每个样本分别计算策略侧难度（ground truth 是否落在策略 top-τ 之外）和奖励侧判别力（RM 是否把正确项排在头部且彻底压制无关负例），仅当两者同时满足时才施加 GRPO 更新，其余样本仅用监督 NLL 损失。这种选择性更新可避免重复奖励模型噪声。
- 保留监督 NLL 作为稳定锚点，GRPO 作为附加项，通过一个二值 clip 系数 gating。超参数只需要两个比例 τ、ρ（阈值比例），基于排名确定，不受绝对分值影响，易于迁移和调参。
- 奖励判别力诊断中，使用来自同一 batch 其他 query 的生成负例作为“跨样本扰动项”，无需额外模型即可检验 RM 的局部校准程度，计算成本极低，是实用技巧。
- 经过离线（HR 提升与低幻觉）和线上 A/B（有效 IPV、UCTR、停留时长显著增长，类目多样性未降）验证，方法在真实电商场景中可安全、稳定地提升 RL 训练效果，避免 reward hacking 引起的多样性坍塌。